CV老将突围语言模型:JEPA杀进LLM,LeCun操刀,性能鲁棒双突破
过去几年,语言大模型(LLM)横扫AI领域,靠着“预测下一个词”这一招,攻城略地、风头无两。但问题也逐渐浮出水面:训练成本高、泛化能力差、容易过拟合。Meta首席AI科学家 Yann LeCun 倒是早有批评,这次他不再只是“嘴上说说”,而是亲自下场,带队搞出
过去几年,语言大模型(LLM)横扫AI领域,靠着“预测下一个词”这一招,攻城略地、风头无两。但问题也逐渐浮出水面:训练成本高、泛化能力差、容易过拟合。Meta首席AI科学家 Yann LeCun 倒是早有批评,这次他不再只是“嘴上说说”,而是亲自下场,带队搞出
JEPA 的核心概念最早由 Yann LeCun 及其团队提出,旨在通过在抽象表征空间中预测未来或缺失的特征来高效学习世界知识。随后,Meta AI 团队提出了具体实现,包括 I-JEPA(用于图像、自监督学习、CVPR 2023)和 V-JEPA(用于视频)